From Spectra to Joint Schedules in LLM Pre-training: 3+3(+2) Scaling-Law Regimes
从谱到联合调度：LLM 预训练中的 3+3(+2) 缩放律机制
🧭 LLM 预训练缩放律与调度理论 ★ 深度解读
University of Wisconsin–Madison · Shanghai Jiao Tong University
用线性随机特征证明功率律由累积谱质量决定，并给出 LR/batch 联合调度下保持、改变或破坏损失缩放律的条件与可迁移代理模型
📌 工作参考价值（4 点）
- 训练大规模推荐/广告/搜索模型时，可把 schedule 坐标改成 intrinsic time T=∑η 与 ratio r=B/η，复用 7 参数 surrogate 预测不同 LR/batch schedule 组合的 loss；拟合一条 8-1-1 轨迹后，可 zero-refit 预测 WSD 等 held-out schedule，适合做训练预算分配与 early stopping。
- 若记忆核指数 qK≈1（论文在 OpenWebText/FineWeb/peS2o 上均拟合约 1，许多 LLM/大模型可能接近），存在 memory ceiling：后期继续降噪（如增大 batch 或降低 LR）无法改善最终损失衰减率，应把算力留给前期/中期信号学习，而不是末期降噪。
- 最优 batch size path 可近似为 r*(u)∝ sqrt((1+T-u)^{-qK}[F(u)+σ^2])，即噪声大且会存留到评估时刻的区间应分配更大 batch；这给出了 WSD / warmup-stable-decay 在数据或算力预算下的一种可操作调参依据。
- 若换用 Muon 等非 SGD optimizer，注意等价坐标可能变成 B/η^2 而非 B/η；在不同优化器之间迁移 schedule 时不能用同一套 intrinsic-time 不变性假设。